Tương truyền Lữ Gia sinh ra ở huyện Lôi Dương quận Cửu Chân (nay là huyện Thọ Xuân, tỉnh Thanh Hoá), có cha là hào trưởng Lữ Tạo người lương thiện, phúc hậu làm nghề lang y; mẹ là người tài sắc, công dung tên là Trương Thị Vĩ, con gái hào trưởng Vũ Ninh (vùng Bắc Ninh ngày nay). Tại quận Cửu Chân có tên họ Hàn hung nghịch, tàn bạo vốn là hào trưởng, thấy Lữ Gia chí khí hơn người nên muốn thu nạp làm tay chân. Gia không chịu khuất phục nên gã thâm thù, cho tay chân đến cướp phá, hành hung gia quyến. Biết không thể sống được nên cả gia quyến đã bỏ quê tìm kế an thân. Khi đến Nam Trì (nay thuộc xã Đặng Lễ, huyện Ân Thi, tỉnh Hưng Yên) thấy khu đất nơi ngã ba sông đất đai tươi tốt, dân cư thuần hậu nên đã lưu tạm ở đây hành nghề lang y. Ở Nam Trì, Lữ Gia kết nghĩa anh em với Nguyễn Danh Lang (Lang Công). Nguyễn Danh Lang làm tướng ba đời vua Triệu nước Nam Việt. Khi Nguyễn Danh Lang mất, Lữ Gia truyền cho dân làng lập đền thờ. Khi Lữ Gia bị quân Tây Hán chém đầu có truyền cho quân sĩ quê Nam Trì đưa xác ông về Nam Trì an táng và thờ cùng Lang Công. Đền thờ lúc sơ khởi nằm trên đất làng Nam Trì hiện nay nhưng không rõ địa điểm cụ thể. Thời Đường, Cao Biền sang Giao Châu đánh giặc Nam Chiếu, kết nghĩa anh em với hai vị thần Lang Công (Nguyễn Danh Lang), Bảo Công (Lữ Gia), cưới hai bà phu nhân Lự nương, Lữ nương quê đây và dựng lại đền thờ Lang Công, Bảo Công. Khi Cao Biền mất, dân làng thờ cùng hai vị trước. Phía tây đền là phủ thờ Lâu nương công chúa (phu nhân của Lữ Gia) và hai bà phu nhân của Cao Vương. Thời Hậu Lê, Thánh địa lý Tả Ao chọn đất, chuyển làng, dựng lại chùa, đền nên sau khi Tả Ao mất, dân làng thờ cùng với ba vị trước.

Lăng mộ Thừa tướng Lữ Gia và tướng Nguyễn Danh Lang hiện ở xã Đặng Lễ, huyện Ân Thi, tỉnh Hưng Yên.

Lễ hội Nam Trì hay lễ hội Bảo, Lang, Biền là lễ hội chung của ba làng Nam Trì, Đới Khê và Bảo Tàng. Lễ hội tổ chức vào ngày 9 tháng 3 âm lịch hàng năm. Lễ gồm tế Thần và rước Thần. Tế Thần là các buổi cúng lễ ca ngợi công đức, dâng hiến lễ vật lên các vị Thần. Rước Thần là rước các vị Thần về đình Ba Xã. Đình Ba Xã xưa kia là Nhà hội đồng của hai vị Bảo, Lang và Hành cung của Cao Vương lúc sinh thời (nay là mộ hai vị thần Lang Công, Bảo Công) ở cuối làng để ba anh em vị thần thờ ở hai thôn (Bảo Tàng, Đới Khê) tụ hội. Hội là ca hát 10 ngày, đánh cờ, đấu vật. Ngoài ra, còn có rất nhiều nơi thờ Lữ Gia như ở Hà Tây cũ, Hà Nội, Nam Định và nhất là huyện Lập Thạch, tỉnh Vĩnh Phúc.